تشخیص زبان اشاره فارسی با استفاده از کینکت

thesis
abstract

ناشنوایان برای ارتباط با دیگران از زبان اشاره استفاده می کنند. فهم این زبان برای دیگران امری مشکل است و معمولاً نیاز به مترجم دارند. هدف این تحقیق طراحی و ساخت مترجم زبان اشاره فارسی است. داده عمق کینکت به نور محیط وابسته نیست، بنابراین ویژگی های استخراج شده از آن در محیط های مختلف تغییر ناپذیر می باشد. برای به دست آوردن یک سیستم پایدار در این تحقیق تنها از داده های عمق برای استخراج ویژگی استفاده گردیده است. در این پژوهش با استفاده از کینکت بیست و شش علامت از الفبای زبان اشاره فارسی تشخیص داده شده است. ابتدا با استفاده از داده های کینکت اسکلت بدن به دست آمده است. سپس زاویه بازوی دست راست نسبت به خط افق محاسبه شده و بر اساس این زاویه الفبای زبان اشاره به سه گروه تقسیم گردیده اند. آن گاه برای هر گروه یک پنجره مناسب که بتواند دست را از پس زمینه جدا کند در نظر گرفته شده و دست از سایر قسمت های بدن و پس زمینه جدا گردیده است. سپس در قسمت جدا شده نزدیک ترین نقطه به دوربین را محاسبه کرده، و نقاطی که در فاصله دورتر از یک مقدار مشخص از آن نقطه قرار دارند، حذف گردیده اند. مقدار آستانه برای حذف عمق برای هر دسته به صورت متفاوت تعیین شده است تا بهترین جداسازی انجام گیرد. سپس برای حذف اغتشاش، بزرگ ترین قطعه متصل در تصویر پیدا شده و مابقی نقاط حذف گردیده اند. پس از جدا سازی دست از پس زمینه، فیلتر گابور در 6 جهت و 5 مقیاس بر روی تصویر دست اعمال شده است. بدین ترتیب 30 تصویر به دست می آید که انرژی و میانگین هر کدام محاسبه می گردد. پس از این مرحله الگوریتم کاهش بعد lda را بر روی این ویژگی ها اعمال می کنیم. برای دسته بندی از ماشین های بردار پشتیبان و دسته بند بیز استفاده شده است. برای آزمایش روش پیشنهادی پایگاه داده ای به کمک 20 نفر تهیه شده است. دقت به دست آمده برای هر گروه بیش از 91 درصد می باشد. برای مقایسه بهتر دقت روش پیشنهادی برای استخراج ویژگی، این روش بر روی پایگاه داده ای از زبان اشاره آمریکایی آزمایش گردیده است. دقت به دست آمده بر روی این پایگاه داده بیش از 82 درصد بوده است که از نتایجی که تاکنون بر روی این پایگاه داده گزارش شده، بهتر می باشد.

First 15 pages

Signup for downloading 15 first pages

Already have an account?login

similar resources

معرفی سیستم آموزش تشخیص و تصحیح ابهام کلمات برای افزایش کارایی مترجم متن فارسی به زبان اشاره فارسی با استفاده از آنتولوژی.

مهم‌ترین عامل ارتباط بین انسان‌ها، توانمندی در برقراری ارتباط از روش‌های مختلف مانند گفتار، نوشتار و زبان‌اشاره می‌باشد. ناتوانی افراد کم‌شنوا و ناشنوا در برقراری ارتباط صمیمانه، هم‌چنین نبود آموزش مرسوم با توجه به نیازهای جامعه، باعث کنارگذاری این افراد شده است. این پژوهش به دنبال معرفی سیستمی می‌باشد که متن فارسی را دریافت کرده و بعد از انجام پردازش‌ زبان طبیعی لازم، آن را به زبان اشاره فارسی...

full text

بازشناسی علامت های ساکن زبان اشاره ی فارسی با استفاده از یک توصیف گر شکلی جدید

در این مقاله یک سیستم برای بازشناسی علامت های ساکن زبان اشاره ی فارسی پیشنهاد شده است. این سیستم بر مبنای یک ویژگی شکلی جدید طراحی شده و قادر است با نرخ تشخیص بالایی، علامت های ساکن الفبای زبان اشاره ی فارسی را به طور خودکار بازشناسی کند. در اینسیستم، ابتدا با استفاده از آنالیز مؤلفه ی اصلی (pca)، جهت های غالب دست را بدست می آوریم و تصاویر را در جهت غالب دست، به نحوی که سیستم مختصات جدید تصویر ...

full text

شناسایی زبان اشاره فارسی با استفاده از دوربین های عمقی

شناسایی زبان اشاره توسط رایانه گام اولیه و مهمی در راستای ارتقای تعامل کاربران ناشنوا با رایانه است. با وجود گستردگی کارهای انجام شده در شناسایی زبان اشاره سایر کشور ها به خصوص زبان اشاره امریکایی، تنها هنوز گام های اولیه و آزمایشگاهی در مورد زبان اشاره فارسی انجام پذیرفته است. در این پایان نامه روشی جهت شناسایی حروف الفبای زبان اشاره فارسی باغچه بان (اولین و پرکاربردترین زبان اشاره فارسی) ار...

15 صفحه اول

تشخیص حرکات دست در زبان اشاره فارسی با استفاده از مدل پنهان مارکوف

حرکات بدن به مجموعه حرکات معنی داری که شامل حرکت فیزیکی انگشت ها، دست ها، بازوها، سر، صورت و یا بدن هست، گفته می شود. این حرکات دو هدف عمده را دنبال می کنند: 1- انتقال اطلاعات. 2- ارتباط با محیط اطراف. از جمله کاربردهای تشخیص حرکات بدن کنترل یک وسیله الکترونیکی با حرکات بدن، ارتباط بین روبات و انسان و تشخیص زبان اشاره است. زبان اشاره اساسی ترین وسیله ارتباطی افراد ناشنواست. هنگام ارتباط یک انسا...

My Resources

Save resource for easier access later

Save to my library Already added to my library

{@ msg_add @}


document type: thesis

وزارت علوم، تحقیقات و فناوری - دانشگاه یزد - دانشکده برق و کامپیوتر

Hosted on Doprax cloud platform doprax.com

copyright © 2015-2023